Tillegem was een aloude heerlijkheid waarvan het ontstaan opklom tot de tijd van Karel de Grote.
De eerste ons bekende heer van Tillegem, Jan, was een telg uit het oude middeleeuwse geslacht van de heren van Voormezele. De Heer van Tillegem was een gezagvolle figuur die de rechterlijke, administratieve en fiscale macht over zijn gebied uitoefende. Hiervoor beschikte hij over een volwaardig schepencollege en over verschillende medewerkers en dienaars.
Toen het kasteel in het begin van de veertiende eeuw werd gebouwd, was het, zoals het grondplan vandaag nog aantoont, een middeleeuwse burcht met vier vleugels, een toren boven de ingangspoort en vierkante hoektorens. Het werd, ongewoon voor deze streek, gebouwd in Doornikse en Brabantse natuursteen. De burcht die er oorspronkelijk had gestaan, had een kapel die rond 1160 door de heilige Thomas Becket zou zijn ingewijd.
In de loop der eeuwen kwam het kasteel bij herhaling in handen van eigenaars die in geldnood verkeerden en zich dan ook weinig om onderhoudswerken bekommerden. De aanleg van de spoorweglijn in de negentiende en van snelwegen in de twintigste eeuw, op loopafstand van het domein, verminderden aanzienlijk de aantrekkelijkheid ervan. Na ongeveer tien eeuwen adellijke bewoning bleek de overdracht aan de overheid een passende oplossing.